Video event extraction aims to detect salient events from a video and identify the arguments for each event as well as their semantic roles. Existing methods focus on capturing the overall visual scene of each frame, ignoring fine-grained argument-level information. Inspired by the definition of events as changes of states, we propose a novel framework to detect video events by tracking the changes in the visual states of all involved arguments, which are expected to provide the most informative evidence for the extraction of video events. In order to capture the visual state changes of arguments, we decompose them into changes in pixels within objects, displacements of objects, and interactions among multiple arguments. We further propose Object State Embedding, Object Motion-aware Embedding and Argument Interaction Embedding to encode and track these changes respectively. Experiments on various video event extraction tasks demonstrate significant improvements compared to state-of-the-art models. In particular, on verb classification, we achieve 3.49% absolute gains (19.53% relative gains) in F1@5 on Video Situation Recognition.
translated by 谷歌翻译
本文开发了一个深图运算符网络(DeepGraphonet)框架,该框架学会了近似具有基础子图形结构的复杂系统(例如电网或流量)的动力学。我们通过融合(i)图形神经网络(GNN)来利用空间相关的图形信息和(ii)深操作符网络〜(deeponet)近似动态系统的解决方案操作员的能力来构建深图载体。然后,所得的深图载体可以通过观察图形状态信息的有限历史来预测给定的短/中期时间范围内的动力学。此外,我们将深图载体设计为独立于解决方案。也就是说,我们不需要以精确/相同的分辨率收集有限的历史记录。此外,为了传播训练有素的Deepgraphonet的结果,我们设计了一种零摄像的学习策略,可以在不同的子图上使用它。最后,对(i)瞬态稳定性预测电网和(ii)车辆系统的交通流量预测问题的经验结果说明了拟议的Deepgraphonet的有效性。
translated by 谷歌翻译
我们引入了基于高斯工艺回归和边缘化图内核(GPR-MGK)的探索性主动学习(AL)算法,以最低成本探索化学空间。使用高通量分子动力学模拟生成数据和图神经网络(GNN)以预测,我们为热力学性质预测构建了一个主动学习分子模拟框架。在特定的靶向251,728个烷烃分子中,由4至19个碳原子及其液体物理特性组成:密度,热能和汽化焓,我们使用AL算法选择最有用的分子来代表化学空间。计算和实验测试集的验证表明,只有313个(占总数的0.124 \%)分子足以训练用于计算测试集的$ \ rm r^2> 0.99 $的精确GNN模型和$ \ rm rm r^2>>实验测试集0.94 $。我们重点介绍了提出的AL算法的两个优点:与高通量数据生成和可靠的不确定性量化的兼容性。
translated by 谷歌翻译
在这项工作中,我们提出了一种自适应的稀疏学习算法,可以应用于学习物理过程并获得较大的快照空间的溶液的稀疏表示。假设有一类丰富的预定基础函数可以用来近似关注数量。然后,我们设计了一个神经网络体系结构,以学习由这些基础功能跨越的空间中的解决方案系数。基本函数的信息已纳入损耗函数,这最大程度地减少了在多个时间步长下缩小的减少订单解决方案和参考解决方案之间的差异。该网络包含多个子模块,并且可以同时学习不同时间步骤的解决方案。我们在学习框架中提出了一些策略,以确定重要的自由度。为了找到稀疏的溶液表示形式,应用软阈值操作员来强制神经网络的输出系数向量的稀疏性。为了避免过度简化并丰富近似空间,可以通过贪婪的算法将一些自由度添加回系统。在这两种情况下,即删除和添加自由度,相应的网络连接都是由从网络输出获得的解决方案系数的大小来修剪或重新激导的。提出的自适应学习过程适用于某些玩具案例示例,以证明它可以实现良好的基础选择和准确的近似。对两阶段多尺度流问题进行了更多的数值测试,以显示复杂应用程序所提出的方法的能力和解释性。
translated by 谷歌翻译
肺癌是最致命的癌症之一,部分诊断和治疗取决于肿瘤的准确描绘。目前是最常见的方法的人以人为本的分割,须遵守观察者间变异性,并且考虑到专家只能提供注释的事实,也是耗时的。最近展示了有前途的结果,自动和半自动肿瘤分割方法。然而,随着不同的研究人员使用各种数据集和性能指标验证了其算法,可靠地评估这些方法仍然是一个开放的挑战。通过2018年IEEE视频和图像处理(VIP)杯竞赛创建的计算机断层摄影扫描(LOTUS)基准测试的肺起源肿瘤分割的目标是提供唯一的数据集和预定义的指标,因此不同的研究人员可以开发和以统一的方式评估他们的方法。 2018年VIP杯始于42个国家的全球参与,以获得竞争数据。在注册阶段,有129名成员组成了来自10个国家的28个团队,其中9个团队将其达到最后阶段,6队成功完成了所有必要的任务。简而言之,竞争期间提出的所有算法都是基于深度学习模型与假阳性降低技术相结合。三种决赛选手开发的方法表明,有希望的肿瘤细分导致导致越来越大的努力应降低假阳性率。本次竞争稿件概述了VIP-Cup挑战,以及所提出的算法和结果。
translated by 谷歌翻译
我们提出了一种联邦平均Langevin算法(FA-LD),用于不确定量化和与分布式客户端的平均预测。特别是,我们概括了正常的后验分布,并考虑一般的模型。我们为FA-LD为具有非I.I.D数据的强烈凹入分布的理论保障,并研究了注入的噪声和随机梯度噪声如何,数据的异质性以及不同的学习率影响收敛性。这样的分析揭示了最佳选择的本地更新,以最大限度地减少通信成本。对于我们的方法很重要,即通信效率不会与Langevin算法中的注入噪声恶化。此外,我们在我们的FA-LD算法中审视了不同客户端使用的独立和相关噪声。我们遵守联邦和沟通成本之间的权衡也在那里。由于本地设备在联合网络中可能处于非活动状态,我们还基于仅可用的部分设备更新的不同平均方案来显示收敛结果。
translated by 谷歌翻译
将组对称性直接纳入学习过程,已被证明是模型设计的有效准则。通过生产保证对输入上的组动作改造协议的功能,Group-Secrivariant卷积神经网络(G-CNN)在具有内在对称的学习任务中实现了显着改善的泛化性能。已经研究了G-CNNS的一般理论和实际实施,用于旋转或缩放变换下的平面图像,但仅是单独的。在本文中,我们存在roto-scale-pranslance的CNN(RST-CNN),保证通过耦合组卷积来实现这三个组的增义性。此外,随着现实中的对称变换很少是非常完美的并且通常会受到输入变形的影响,我们提供了对输入失真的表示的等意识的稳定性分析,这激励了(预固定)低频空间下的卷积滤波器的截断扩展模式。所得到的模型可被证明可以实现变形 - 稳健的RST标准,即RST对称性仍然“大约”保存,当通过滋扰数据变形时“被污染”,这是对分布外概述尤为重要的属性。 Mnist,Fashion-Mnist和STL-10的数值实验表明,所提出的模型在现有技术中产生显着的增益,尤其是在数据内旋转和缩放变化的小数据制度中。
translated by 谷歌翻译
深度操作网络〜(DeepOnet)是我们培训到近似非线性运算符的基本不同类的神经网络,包括参数局部微分方程(PDE)的解决方案操作者。即使在具有相对较小的数据集的培训时,Deeponet也显示出显着的近似和泛化功能。然而,当训练数据被噪声污染训练数据时,DeepOnets的性能恶化,这是一种经常在实践中发生的场景。为了使DeepOnets培训用嘈杂的数据,我们建议使用贝叶斯·朗格文化扩散的贝叶斯框架。这样的框架使用两个粒子,一个颗粒用于探索,另一个用于利用深度的损失功能景观。我们表明,拟议的框架勘探和开发能力使得(1)改善了嘈杂场景中的深度的培训融合和(2)附加对参数PDE的预测解决方案的不确定性估计。此外,我们表明,与用最先进的基于梯度的优化算法(例如ADAM)培训的香草LeepOnets相比,复制 - 交换廊道扩散(显着)也提高了嘈杂情景中的夜间的平均预测准确性。为了减少复制品的潜在高计算成本,在这项工作中,我们提出了一个加速培训框架,用于复制 - 交换Langevin扩散框架,利用DeepOnet的神经网络架构,以降低其计算成本高达25%,而不会影响所提出的框架的性能。最后,我们说明了在四个参数PDE问题上使用一系列实验来说明所提出的贝叶斯框架的有效性。
translated by 谷歌翻译
谣言在社交媒体的时代猖獗。谈话结构提供有价值的线索,以区分真实和假声明。然而,现有的谣言检测方法限制为用户响应的严格关系或过度简化对话结构。在这项研究中,为了减轻不相关的帖子施加的负面影响,基本上加强了用户意见的相互作用,首先将谈话线作为无向相互作用图。然后,我们提出了一种用于谣言分类的主导分层图注意网络,其提高了考虑整个社会环境的响应帖子的表示学习,并参加可以在语义上推断目标索赔的帖子。三个Twitter数据集的广泛实验表明,我们的谣言检测方法比最先进的方法实现了更好的性能,并且展示了在早期阶段检测谣言的优异容量。
translated by 谷歌翻译
Rankings are widely collected in various real-life scenarios, leading to the leakage of personal information such as users' preferences on videos or news. To protect rankings, existing works mainly develop privacy protection on a single ranking within a set of ranking or pairwise comparisons of a ranking under the $\epsilon$-differential privacy. This paper proposes a novel notion called $\epsilon$-ranking differential privacy for protecting ranks. We establish the connection between the Mallows model (Mallows, 1957) and the proposed $\epsilon$-ranking differential privacy. This allows us to develop a multistage ranking algorithm to generate synthetic rankings while satisfying the developed $\epsilon$-ranking differential privacy. Theoretical results regarding the utility of synthetic rankings in the downstream tasks, including the inference attack and the personalized ranking tasks, are established. For the inference attack, we quantify how $\epsilon$ affects the estimation of the true ranking based on synthetic rankings. For the personalized ranking task, we consider varying privacy preferences among users and quantify how their privacy preferences affect the consistency in estimating the optimal ranking function. Extensive numerical experiments are carried out to verify the theoretical results and demonstrate the effectiveness of the proposed synthetic ranking algorithm.
translated by 谷歌翻译